Ban đầu thành phố này được Triệu Khang công hay Thiệu công Thích theo lệnh của Chu Công (周公) xây dựng vào thế kỷ 11 TCN và được đặt tên là Thành Chu (成周). Nó trở thành kinh đô của nhà Đông Chu kể từ năm 770 TCN. Thành phố này đã bị phá hủy trong nội chiến vào năm 510 TCN và được xây dựng lại vào những năm sau đó và còn tiếp tục là kinh đô của nhà Chu cho đến khi nhà Tần đánh bại nhà Chu vào năm 256 TCN để sau này thống nhất Trung Quốc, với tên gọi Lạc Ấp.

Từ năm 25 tới năm 190, Lạc Dương trở thành kinh đô của nhà Đông Hán, từ Hán Quang Vũ Đế cho tới đầu thời kỳ trị vì của Hán Hiến Đế.

Năm 68, Bạch Mã tự, ngôi chùa Phật giáo đầu tiên ở Trung Quốc, đã được xây dựng tại Lạc Dương. Ngôi chùa này hiện nay vẫn còn tồn tại, mặc dù các kiến trúc của nó là thuộc các thời đại sau này, chủ yếu thuộc thế kỷ 16. An Thế Cao (?-168) là một trong những hòa thượng đầu tiên quảng bá Phật giáo tại Lạc Dương.

Năm 190, thái sư Đổng Trác đã ra lệnh lục soát và cướp bóc thành phố này trước khi san phẳng phần lớn các công trình xây dựng. Kinh đô được chuyển về Trường An, do đây là nơi thích hợp hơn cho Đổng Trác để đẩy lùi liên minh chống lại ông ta.

Từ thời Tam Quốc, năm 221 khi Ngụy Văn Đế (Tào Phi) lên ngôi cho đến thời Tấn Mẫn Đế nhà Tây Tấn (năm 316), Lạc Dương vẫn tiếp tục là kinh đô. Trong nhiều thế kỷ, Lạc Dương là trung tâm kinh tế-xã hội của Trung Hoa cổ đại. Khi nhà Tây Tấn dưới sức ép của các lực lượng nổi dậy buộc phải di chuyển kinh đô tới Kiến Khang (ngày nay là Nam Kinh) thì kinh đô này đã gần như bị phá hủy hoàn toàn.

Năm 493, hoàng đế Ngụy Hiếu Văn Đế nhà Bắc Ngụy lại di chuyển kinh đô từ Đại Đồng, Sơn Tây về Lạc Dương và bắt đầu cho xây dựng Long Môn thạch quật (hang đá Long Môn) nhân tạo. Trên 30.000 bức tượng Phật từ thời kỳ của triều đại này đã được tìm thấy trong hang. Đến năm 534 khi nhà Bắc Ngụy kết thúc thì Lạc Dương không còn là kinh đô của các triều đại kế tiếp, cho đến tận năm 909 khi hoàng đế nhà Hậu Lương là Hậu Lương Thái Tổ Chu Ôn lại chuyển kinh đô về đây với tên gọi Tây Đô và nó là kinh đô cho tới năm 913 đầu thời Hậu Lương Mạt Đế. Năm 923 khi nhà Hậu Đường nắm quyền thì một lần nữa nó lại là kinh đô với tên gọi Đông Đô. Năm 936 nhà Hậu Tấn đổi tên nó thành Tây Kinh và đóng đô ở đây khoảng 2 năm.

Thời kỳ Minh, Thanh thì Lạc Dương là thủ phủ tỉnh Hà Nam.